HDFS (Hadoop Distributed File System) এর পরিচিতি
HDFS হলো Hadoop এর ডিস্ট্রিবিউটেড ফাইল সিস্টেম, যা বড় আকারের ডেটা সংরক্ষণ এবং প্রসেসিংয়ের জন্য ব্যবহৃত হয়। HDFS ডেটাকে ব্লকে ভাগ করে বিভিন্ন নোডে স্টোর করে, এবং ডেটা প্রসেসিংয়ের জন্য একাধিক মেশিন ব্যবহার করা হয়। HDFS এর মাধ্যমে ডেটার উচ্চ-ক্ষমতা, স্কেলেবিলিটি এবং ফল্ট টলারেন্স নিশ্চিত করা হয়। HDFS-এর মধ্যে দুটি প্রধান উপাদান থাকে, যা ডেটার স্টোরেজ এবং পরিচালনার জন্য অত্যন্ত গুরুত্বপূর্ণ: Namenode এবং Datanode।
Namenode এর ভূমিকা
Namenode হলো HDFS এর কেন্দ্রীয় অংশ, যা পুরো ফাইল সিস্টেমের মেটাডেটা এবং কাঠামো পরিচালনা করে। এটি ফাইলের অবস্থান, নাম, ব্লক তথ্য এবং স্টোরেজের কাঠামো সংরক্ষণ করে। Namenode কোনো ডেটা নিজে সংরক্ষণ করে না, বরং এটি জানে কিভাবে এবং কোথায় ডেটা ব্লকগুলি Datanode-এ সংরক্ষিত থাকে। এটি HDFS এর "মাস্টার" নোড হিসেবে কাজ করে এবং ডেটার সঠিকতা এবং অবস্থান সঠিকভাবে ট্র্যাক করে।
Namenode এর প্রধান দায়িত্ব:
- ফাইল সিস্টেমের মেটাডেটা সংরক্ষণ: ফাইলের নাম, সাইজ, এবং ব্লকগুলোর অবস্থান সংরক্ষণ করে।
- ব্লক ম্যানেজমেন্ট: HDFS-এ ডেটা ব্লকগুলির অবস্থান এবং রিপ্লিকেশন ফ্যাক্টর ট্র্যাক করে।
- ডেটা ব্লকের রিপ্লিকেশন নিশ্চিত করা: কোনো ব্লক যদি কোনো কারণে হারিয়ে যায়, তবে Namenode তা পুনরুদ্ধার করে এবং ডেটা নিরাপত্তা নিশ্চিত করে।
- ক্লাস্টারের সাধারণ পরিচালনা: Namenode ক্লাস্টারের অন্যান্য নোডের কার্যকারিতা এবং স্টেটাস পর্যবেক্ষণ করে।
Datanode এর ভূমিকা
Datanode হলো HDFS-এর "ক্লায়েন্ট" নোড, যা ডেটা ব্লকগুলি বাস্তবে সংরক্ষণ এবং রিড / রাইট অপারেশন করে। Datanode প্রতিটি ব্লকের কপি তৈরি করে এবং তার অবস্থানের তথ্য Namenode কে পাঠায়। Datanode-এ ডেটা সংরক্ষিত থাকে, এবং যখন ক্লায়েন্ট কোনো ডেটা রিকোয়েস্ট করে, Datanode তা পাঠানোর দায়িত্ব পালন করে।
Datanode এর প্রধান দায়িত্ব:
- ডেটা স্টোরেজ: Datanode হাডুপ ক্লাস্টারে ডেটা ব্লকগুলিকে সংরক্ষণ করে।
- ডেটা রিড / রাইট: ক্লায়েন্টের অনুরোধে ডেটা ব্লক রিড এবং রাইট করে।
- নিরাপত্তা এবং ব্লক রিপ্লিকেশন: Datanode ডেটার সঠিক কপি রাখে এবং নিয়মিতভাবে রিপ্লিকেশন নিশ্চিত করে।
- ব্লক স্ট্যাটাস রিপোর্ট করা: Datanode প্রতিটি ব্লকের অবস্থা এবং সঠিকতা সম্পর্কে Namenode কে জানায়।
Namenode এবং Datanode এর মধ্যে পার্থক্য
| বিষয় | Namenode | Datanode |
|---|---|---|
| ভূমিকা | ফাইল সিস্টেমের মেটাডেটা এবং কাঠামো পরিচালনা করে। | ডেটা ব্লক সংরক্ষণ এবং রিড/রাইট অপারেশন করে। |
| ডেটা সংরক্ষণ | ডেটা ব্লক সংরক্ষণ করে না, শুধু তাদের অবস্থান ট্র্যাক করে। | ডেটা ব্লক সংরক্ষণ করে। |
| পারফর্মেন্স | সিস্টেমের সব মেটাডেটা এক জায়গায় থাকে, তাই একক পয়েন্ট অফ ফেইল। | ডেটা ব্লককে বিভিন্ন নোডে ভাগ করে ডিস্ট্রিবিউটেডভাবে সংরক্ষণ করা হয়। |
| ব্যবহারকারীর ইন্টারফেস | ক্লায়েন্টের মাধ্যমে মেটাডেটা পরিচালনা করে। | ক্লায়েন্টের অনুরোধে ডেটা ব্লক প্রসেস করে। |
| ফল্ট টলারেন্স | ডেটা ব্লকের একাধিক কপি থাকে Datanode-এ, যা রিপ্লিকেশনের মাধ্যমে নিশ্চিত করা হয়। | রিপ্লিকেশন কার্যকরী রাখার জন্য হোস্ট ডেটা ব্লক। |
সারাংশ
Namenode এবং Datanode HDFS এর দুটি অত্যন্ত গুরুত্বপূর্ণ উপাদান। Namenode ফাইল সিস্টেমের মেটাডেটা এবং কাঠামো পরিচালনা করে, এবং Datanode ডেটার বাস্তব সংরক্ষণ ও রিড/রাইট অপারেশন সম্পাদন করে। HDFS-এর কার্যকরী এবং স্কেলেবেল ফাইল সিস্টেম নিশ্চিত করতে এই দুটি উপাদানের সঠিক সমন্বয় অত্যন্ত গুরুত্বপূর্ণ।
Read more
